Facebook laat eigen onderzoekers graven in de berg data die het sociale netwerk heeft. Dat levert wetenschappelijke studies op die gerenommeerde bladen halen. Maar hoe betrouwbaar zijn die onderzoeken?

Zoek met Google eens op ‘ajax’. Een fanatieke voetbalfan krijgt dan resultaten van de voetbalclub, terwijl een professionele schoonmaker aanbiedingen voor het reiningingsmiddel krijgt. Het is een extreem voorbeeld dat in de praktijk niet zo geprononceerd zal voorkomen. Maar het principe is duidelijk: Google past de resultaten aan op diegene die zoekt.

Google doet dit al jaren, en er valt veel voor te zeggen. Zo is het logisch om locatie mee te nemen bij een zoekopdracht. Als je met een lege maag over de Grote Markt in Groningen strompelt en je zoekt op ‘restaurant’, dan heb je niks aan Eindhovense eettentjes in de zoekresultaten.

Maar Google gaat verder. Het bedrijf bouwt een profiel van jou op, onder meer op basis van de zoekopdrachten en sites die je bezoekt. Google weet dus waar jij geïnteresseerd in bent en neemt dit mee in de resultaten, als je ingelogd bent tenminste.

Filter bubble

Het gevaar bestaat dat je door het personaliseren van zoekresultaten in een virtuele zeepbel belandt. Naarmate Google meer van jou weet, kom je steeds vaker in aanraking met dingen die in jouw straatje passen. Je wordt nooit meer verrast en leeft eenzaam in je eigen stukje internet. De Amerikaanse auteur Eli Pariser heeft hiervoor een term bedacht: de ‘filter bubble’.

Ook Facebook heeft kritiek gekregen, omdat het een filter bubble zou creëren voor leden. Dat werkt zo. Jij ziet niet automatisch alles wat jouw Facebook-vrienden op het sociale netwerk plaatsen. Facebook bepaalt wat jij wel en niet te zien krijgt. Daarbij maakt het bedrijf gebruik van een rekenformule, die bepaalt hoe relevant berichten voor jou zijn. In de berekening is onder meer meegenomen hoe jij in het verleden op bepaalde berichten hebt gereageerd.

Klik je weleens op een spelletje, dan zul je daarvan meer in je nieuwsoverzicht krijgen. Heb je een bericht van een persoon een keer verborgen, dan zul je hem of haar minder tegenkomen. De formule neemt ook mee hoeveel vind-ik-leuks en reacties een bericht van jou gekregen heeft. Heeft Facebook door dat je bepaalde dingen leuk vindt, dan krijg je daarvan meer voorgeschoteld. En zo krijgt de virtuele zeepbel vorm.

Onderzoek naar leesgedrag

Tijd voor een tegenoffensief, moeten ze bij Facebook hebben gedacht. Vorige week verscheen een onderzoek in het wetenschappelijke tijdschrift Science naar de effecten van Facebook’s rekenformule op het leesgedrag. Onderzoekers keken hoe vaak conservatieven en liberalen artikelen zagen in hun tijdlijn van een andere politieke kleur. Daarna keken de wetenschappers op welke artikelen de gebruikers daadwerkelijk klikten.

Conclusie van de studie? De filter bubble is vooral de schuld van gebruikers zelf, niet van Facebook. Wat het sociale netwerk laat zien aan artikelen is gevarieerder qua politieke kleur dan de voorkeur van mensen. Die klikken vooral op dingen waar ze het mee eens zijn. Veel nieuwssites van over de hele wereld namen de uitkomsten klakkeloos over.

Kritiek van sociale wetenschappers

Maar sociale wetenschappers uitten meteen grote kritiek op het onderzoek. Mediajournalist Matthew Ingram zette de grootste bezwaren op een rij in een stuk op Fortune.

Zo is het onmogelijk om de voorkeur van lezers voor bepaalde artikelen en datgene wat Facebook selecteert uit elkaar te halen: beide processen gebeuren tegelijkertijd en versterken elkaar. De Facebook-onderzoekers doen dat toch. De conclusie is dan ook alsof een autofabrikant het falen van remmen verdedigt door te zeggen dat hardrijders ook veel ongelukken veroorzaken, zoals socioloog Zeynep Tufekci het verwoordt.

Een ander probleem is de kleine sample van de studie. De onderzoekers verzamelden data van de mensen die hun politieke voorkeur aan hadden gegeven op hun profiel. Dat blijkt om minder dan 4 procent van het totale aantal van 1,3 miljard  te gaan, iets dat overigens is weggemoffeld in een bijlage. Met zo’n kleine sample is het gevaarlijk om conclusies te trekken over alle Facebook-gebruikers. Bovendien, wie zegt dat mensen die open zijn over hun politieke voorkeur sowieso al niet ander leesgedrag vertonen?

Wij van WC Eend

Maar verreweg het grootste issue is dat het onderzoek is uitgevoerd door data-analisten die in dienst zijn van Facebook. Dat roept de vraag op of de ongetwijfeld kundige mensen hun werk onafhankelijk hebben kunnen doen. Zou de studie ook gepubliceerd zijn als de conclusie Facebook niet zinde?

De uitkomsten zijn bovendien niet te controleren. De gegevens die zijn gebruikt mogen vanwege privacyredenen niet openbaar worden gemaakt, want ze zijn te herleiden tot individuele gebruikers.

Kortom, Facebook krijgt een onderzoek geplaatst in een topblad. Onderzoeken met welgevallige resultaten die bovendien niet te verifiëren zijn. Klinkt als gratis reclame.

En het is niet de eerste keer dat dit gebeurt: vorig jaar haalde een Facebook-onderzoek ook al de pagina’s van Proceedings of the National Academy of Sciences (pdf). Ook hier zijn de uitkomsten oncontroleerbaar. Wetenschappelijke tijdschriften maar ook de journalistiek zou daar een stuk kritischer naar moeten kijken.